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HE: [目的 /意义 ] 分 析 国内 外 微 表 情 识别 领域 研究 现状 与 趋势 ， 为 图 书馆 与 情报 领域 用 户 微 表 情 信 
息 表征 的 研究 提供 参考 。[ 方法 /过 程 ] 基于 文献 计量 的 研究 方法 揭示 近 10 年 微 表情 识别 领域 的 研究 动态 ， 
分 析 微 表情 识别 和 信息 表征 的 融合 趋势 、 技 术 基 础 与 困难 挑战 。[ 结果 /结论 ] 微 表情 数据 集 、 微 表情 识别 
技术 是 当前 研究 热点 ;技术 方法 、 安 全 伦理 和 数据 库 数 量 是 当今 发 展 的 主要 挑战 ; 信息 传递 、 信 息 ne 
图 书馆 和 情报 领域 未 来 可 发 展 的 新 兴 研究 领域 ， 元 宇 害 、 隐 私 问题 和 技术 驱动 等 领域 是 未 来 的 微 表 情 识别 


技术 的 应 用 趋势 。 
关键 词 : 微 表情 识别 ”信息 表征 ”信息 传递 信息 反馈 文献 计量 
er COB 


引用 格式 : 刘洋 , RM, WM, 等 . 用 户 微 表情 信息 
215-227[ 引用 日 期 ]. http://www.kmf.ac.cn/p/346/. 
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表情 是 人 类 表达 自身 情感 信息 的 一 种 重要 技术 不 断 发 展 ， 微 表情 的 自动 化 识别 取代 人 工 

的 非 言语 性 行为 ",， 通 过 观察 表情 可 以 感知 对 ”识别 已 成 为 现实 中。 微 表 情 自 动 识别 是 通过 应 
方 在 明显 或 不 明显 行为 之 下 的 内 在 情感 与 心理 | 用 有 效 的 刺激 源 ， 识别 用 户 在 人 机 交互 过 程 中 


活动 。 微 表情 既是 人 脸 表 情 的 重要 组 成 部 分 ， 
也 是 用 户 潜在 情绪 类 信息 的 重要 展示 途径 。 
在 具体 情景 下 , 微 表情 表现 为 持续 时 间 短 、 
表情 中 断 和 对 面部 肌肉 运动 的 抑制 外， 因此 ， 研究 方向 ©, 
其 所 表达 的 情绪 信息 难以 用 肉眼 直接 捕捉， 且 信息 表征 (information representation ) 是 
识别 难度 较 大 , 准确 率 较 低 癌 , 有 较 强 的 局 限 性 。 指 信息 在 加 工 和 记载 过 程 中 的 表达 方式 外， 当 
随 着 计算 机 视觉 、 人 工 智 能 、 情 感 计算 等 新 兴 人 们 处 理 外 部 信息 (如 输入 、 编 码 、 转 换 、 存 


表露 出 的 微 表 情 ， 抽 取 相 关 信息 数据 ， 进 而 了 
解 用 户 是 如 何 被 动 表达 其 真实 感受 和 想法 的 一 
种 技术 ， 被 视 为 未 来 情感 人 机 交互 技术 的 重要 
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储 和 提取 等 ) 时 , 信息 则 以 表征 的 形式 在 头脑 
中 呈现 中， 在 面部 形成 了 表情 。 其 中 ， 细 微 、 
难以 察觉 的 信息 则 需要 通过 用 户 的 微 表 情 来 识 
别 、 分 析 。 微 表情 识别 技术 涉及 信息 科学 、 计 
算 机 视觉 、 生 物 学 、 心 理学 等 研究 领域 ， 为 信 
息 表 征 相 关 的 情报 领域 研究 带 来 新 视角 ， 注 人 
了 新 的 活力 。 微 表情 是 人 在 外 部 环境 刺激 下 不 
经 意 间 的 情感 表露 ， 微 表情 识别 旨 在 用 计算 机 
处 理 技术 捕捉 到 这 一 过 程 中 的 信息 表达 ， 所 以 
从 过 程 上 看 ， 微 表情 是 人 在 特定 环境 下 反映 在 
面部 表情 上 的 信息 表征 行为 。 笔 者 将 心理 学 与 
计算 机 科学 学 科 综 合 下 的 微 表情 识别 引入 信息 
资源 管理 领域 ,探究 学 科 融 合 视 角 下 两 者 的 交 
叉 与 共鸣 。 

微 表情 识别 和 信息 表征 的 相辅相成 关系 尚 
未 得 到 充分 研究 ， 致 使 微 表情 识别 技术 的 应 用 
发 展 仍 受到 限制 。 笔 者 对 人 工 智 能 等 微 表 情 识 
别 技术 进行 追踪 ,通过 文献 计量 的 研究 方法 分 
析 海 内 外 的 研究 现状 和 发 展 动 态 ， 对 微 表情 识 
别 环 节 中 所 涉及 的 表征 信息 进行 系统 性 总 结 和 
规范 化 表述 ， 把 握 微 表情 识别 中 获取 信息 、 利 
用 信息 的 方式 ， 可 以 进一步 完善 现 有 的 理论 框 
WR, 进一步 拓宽 情报 学 、 信 息 科学 的 研究 范式 。 
同时 ， 深 刻 反思 实现 过 程 中 的 困难 和 挑战 ， 结 
合 现 状 提 出 优化 建议 ， 以 期 促进 相关 机 构 和 部 
门 科学 规划 与 统筹 发 展 我 国 微 表情 识别 领域 研 
究 及 应 用 ， 强 化 微 表情 识别 与 人 机 交互 的 信息 
化 建设 ,为 信息 资源 管理 等 领域 利用 微 表情 识 
别 技 术 提 供 多 种 应 用 场景 。 


O 用 户 微 表情 信息 表征 的 研究 现状 
和 发 展 趋势 


1.1 用 户 微 表情 信息 表征 的 研究 现状 

笔者 选取 Web of Science 核心 合集 、 知 
网 、 谷 歌 学 术 等 作为 研究 文献 来 源 。 文 献 类 型 
为 “Article or Review paper or Proceedings paper 
or Early access”， 时 间 跨 度 为 2012—2021 年 ， 
语种 为 “English”， 主 题词 根据 “ 微 表情 识 
别 ” 的 概念 和 分 类 进行 扩展 ， 最 终 检 索 式 为 
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TS=( “micro expression recognition” or “subtle 
expression recognition” or “micro-expression 
recognition” or “involuntary facial expression” 
or “subtle facial recognition” or “microexpression 
recognition” or “lying expression recognition” 
or “quick expression recognition” or “micro 
expression analysis” or “micro-expression 
analysis” or “micro expression detection” or 
“micro-expression detection” ), WR 5 E Ja tt 
获得 260 篇 相关 文献 ， 以 此 作为 本 研究 的 总 样 
本 文献 。 
根据 对 样本 文献 的 分 析 ， 由 研究 论文 年 出 

版 数量 ( 见 图 1 ) 可 知 ， 近 10 年 有 关 微 表情 识 
别 的 研究 文献 数量 持续 增长 ， 并 于 近 几 年 受到 
学 者 的 持续 关注 ; 从 作者 发 文 量 ( 见 图 2 ) 可 知 ， 
国内 学 者 的 相关 研究 占据 重要 地 位 ， 发 文 数 量 
最 多 ,但 微 表情 识别 领域 整体 发 文 数量 相对 平 
i; 从 作者 的 合作 网 络 密度 ( 见 图 3 ) 可 知 ， 两 
个 学 者 之 间 的 总 共 引 次 数 达 到 20 及 以 上 的 超过 
50%， 低 于 5 的 仅 有 10%， 合 作 密 度 较 大 ， 存 
在 长 期 的 相互 交流 ， 主 要 以 3 一 4 人 合作 团队 为 
主 , 但 各 团队 之 间 不 同学 科 的 合作 交流 发 展 仍 
需 进 一 步 推动 ;， 从 研究 机 构 发 文 量 可 知 ， 上 述 
样本 文献 隶属 于 36 个 不 同 国家 /地 区 的 研究 机 
构 ， 前 15 名 的 研究 机 构 中 有 13 所 来 自 中 国 、 

1 所 来 自 芬 兰 、1 所 来 自 马来西亚 ， 其 中 ， 奥 上 户 
大 学 、 中 国 科 学 院 排名 前 2 位 ， 发 文 数量 都 占 
据 总 文献 的 15%; 从 研究 机 构 的 合作 网 络 密度 
( 见 图 4) 可 知 ， 研 究 机 构 之 间 的 合作 比较 密 
切 ， 微 表情 识别 的 发 展 迫 切 需要 研究 机 构 之 间 
的 合作 交流 ; 从 出 版 社 发 文 量 可 知 ， 样 本 文献 
来 自 于 28 个 出 版 社 ， 其 中 ， 发 文 数量 前 5 位 的 
分 别 是 IEEE, Springer Nature, Elsevier, MDPI 
和 Assoc Computing Machinery， 它 们 构成 了 微 
表情 识别 领域 研究 文献 的 核心 来 源 ， 且 IEEE 地 
位 显著 ( 占 样本 文献 的 41.2% ) 。 从 研究 方法 可 
知 ，2012 一 2014 年 微 表 情 识别 领域 以 传统 统计 
方法 为 主 , 2015 一 2018 年 以 机 器 学 习 方 法 为 主 ， 
2018 年 至 今 以 深度 学 习 为 主 。 
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4 机 构 合作 网 络 密度 


1.2 用 户 微 表 情 信 息 表 征 的 发 展 趋势 
1.2.1 高 频 关 键 词 分 析 

根据 总 样本 文献 中 出 现 的 高 频 关键 词 ， 
并 进一步 提炼 核心 网 络 得 到 高 频 关 键 词 密 
度 网 络 ( 见 图 5)。 从 “expression”“short 
duration” “computer vision” 等 关键 词 可 以 看 出 ， 
微 表情 识别 与 人 机 交互 之 间 存 在 一 定 的 关联 ， 
而 用 户 的 信息 表征 产生 于 人 机 交互 过 程 之 中 ， 
故 微 表 情 识别 和 信息 表征 之 间 可 能 存在 一 定 的 
关 联 。 从 “optical flow” “convolution neural 
network” “lop top” 和 “network” 等 关键 词 
可 以 看 出 ， 微 表情 识别 技术 的 发 展 和 创新 备 受 
关注 ， 且 标准 系统 化 的 信息 表征 产生 于 明确 的 
微 表 情 识别 之 中 。 技 术 的 发 展 不 断 提升 微 表 情 
的 识别 精度 ， 有 利于 微 表 情 识 别 和 信息 表征 的 
关联 融合 。 
expression database” 和 “feature extraction” 等 
关键 词 表 明 ， 以 往 学 者 比较 关注 微 表情 的 识别 
机 制 ， 从 数据 集 到 微 表情 信息 数据 的 处 理 ， 再 


“oe ” ” “ce ” “ * 
onset apex frame micro 
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到 微 表 情 特 征 识别 、 检 测 等 ， 而 信息 表征 正好 
以 不 同形 式 出 现在 这 一 过 程 中 ， 因 此 对 微 表 情 
识别 之 后 得 到 的 信息 数据 进行 处 理 、 统 一 表示 
等 可 以 进一步 提高 微 表 情 的 识别 精度 ， 显 著 降 
低微 表情 识别 的 波动 性 ， 可 以 更 好 地 提高 其 关 
联 信息 表征 的 正确 率 。 
1.2.2 关键 词 共 现 聚 类 分 析 

对 关键 词 进行 聚 类 分 析 可 以 更 好 地 把 控 微 
表情 识别 研究 领域 的 热点 主题 集群 。 借 助 工 具 
VOSviewer 对 得 到 的 样本 文献 进行 聚 类 分 析 ， 
得 到 的 主题 词 贡 献 网 络 见 图 6。 图 中 节点 越 
大 ， 关 键 词 词 频 越 大 。 由 图 6 中 信息 可 知 ， 微 
表情 识别 的 研究 热度 主要 集中 在 面部 表情 、 微 
表情 、 人 情绪 的 识别 ; 光 流 法 、LBP-TOP (local 
binary pattern histograms from three orthogonal 


planes ) ~ CNN (convolutional neural network ) 
等 技术 的 实现 和 发 展 ; 迁移 学 习 、 域 适应 等 新 
领域 研究 ; 特征 提取 、 分 类 、 和 情感 等 微 表情 数 
据 的 收集 和 分 析 。 
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图 6 关键 词 共 现 聚 类 分 析 


人 @ 用 户 微 表情 信息 表征 的 技术 发 展 
微 表情 识别 技术 的 起 步 阶段 ， 依 靠 的 是 人 
工 微 表情 识别 方法 "0。 但 微 表情 持续 时 间 短 ， 
出 现 频率 低 , 未 经 训练 的 个 体 识别 能 力 不 佳 中 ， 
故人 工 方法 在 工作 效率 和 精确 程度 上 都 难以 满 
足 研 究 者 对 用 户 信息 表征 的 探究 四。 随 着 技术 


的 发 展 ， 研 究 者 更 倾向 于 利用 计算 机 技术 在 人 
机 交互 的 过 程 中 实现 微 表 情 的 自动 识别 ， 从 而 
进一步 提高 识别 、 分 析 用 户 信 息 表征 的 效率 。 
微 表 情 的 自动 识别 技术 在 用 户 信息 表征 研究 领 
域 的 发 展 ， 可 以 从 微 表情 数据 集 、 现 有 的 数据 
处 理 方式 、 基 于 传统 方法 的 识别 技术 和 基于 深 
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度 学 习 的 识别 技术 4 个 角度 展开 分 析 。 
2.1 微 表 情 数据 集 

微 表情 数据 集 为 科学 的 、 定 量 的 微 表情 识 
别 葛 定 了 基础 。 但 微 表情 区 别 于 普通 的 面部 表 
情 ， 具 有 持续 时 间 短 、 动 作 强 度 低 、 在 无 意识 
状态 下 产生 等 特点 ， 较 难 提取 。 因 此 ， 如 果 要 
对 用 户 信息 表征 的 分 析 和 预测 达到 最 好 的 效果 ， 
微 表 情 数据 集 的 采集 和 选取 十 分 重要 。 对 于 现 
存 的 公开 微 表 情 数据 集 , 其 主要 区 别 在 于 帧 率 、 
诱导 方式 和 标注 方式 号 。 目 前 已 知 的 微 表情 数 
据 集 有 : 芬兰 奥 卢 大 学 的 SMIC (spontaneous 
microexpression corpus ) "和 SMIC2 数据 集中 |， 


= 
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中 国 科 学 院 的 CASME (Chinese Academy of 
Science micro-expression ) ""、 CASME [I "”, 
CAS(ME)""*! 和 CASME M"! % E, 
曼彻斯特 大 学 的 SAMM (spontaneous micro- 
expression) 数据 集 和 SAMM long 数 据 集 
中 中 国 山东 大 学 联合 清华 大 学 、 复 旦 大 学 
队 的 MMEW (micro-and-macro expression 
warehouse ) 数据 集中 1， 美国 南 佛罗里达 大 
学 的 USF-HD 数据 集中 和 日 本 筑波 大 学 的 
Polikovsky”s 数据 集 P, HEP, SMIC 2 数据 集 
包含 3 个 子 集 HS、VIS 和 NIR。 上 述 数据 集 实 
验 采集 参数 的 总 结 和 对 比如 表 1 所 示 : 


表 1 常用 数据 集 对 比 


分 类 数据 集 年 份 ERRUA ZRADA 种 族 / 个 ” 微 表 情 种 类 /种 ” 帧 率 
非 自 发 微 表情 USF-HD 2011 100 N/A 1 6 30 
数据 集 Polikovsky’s 2013 42 10 1 6 200 
自发 微 表情 数 SMIC 2 2013 HS 164 20 3 3 100 
据 集 VIS 71 10 25 
NIR 71 10 25 
CASME 2013 195 35 1 8 60 
CASMEII 2014 247 35 1 5 200 
SAMM 2016 159 32 13 7 200 
CAS(ME)? 2018 57 22 1 4 30 
SAMM long 2020 159 29 1 7 200 
MMEW 2021 300 36 1 7 200 
CASMEIII 2022 1109 216 1 7 30 


2.2 现 有 的 数据 处 理 方式 

在 提取 人 类 微 表 情 的 特征 之 前 ,通常 需 要 
对 微 表情 视频 片段 进行 数据 预 处 理 ， 以 降低 输 
入 复杂 度 ， 进 一 步 提高 后 续 有 关 用 户 信息 表征 
的 工作 效率 。 常 见 的 数据 处 理 方 式 有 数据 元 处 
理 、 数 据 统一 表示 等 。 

(1 ) 数据 元 处 理 。 人 脸 检 测 是 微 表 情 自 
动 识别 的 第 一 步 ， 过 滤 视 频 中 出 现 人 脸 的 干扰 
帧 ， 提 取出 有 用 的 人 脸 视频 帧 疡 汪 ， 即 数据 元 。 
接 下 来 便 对 识别 出 的 数据 元 进行 处 理 ， 包 括 裁 


YIN 


剪 人 脸 、 人 脸 矫正 。 裁 前 人 脸 P 以 特定 的 位 
置 来 控制 和 放大 人 脸 的 特征 点 ; 人 脸 矫正 负责 
标准 化 所 提取 到 的 人 脸 数 据 ， 解 决 角度 不 同 、 
尺度 不 一 致 等 问题 ， 从 而 提高 实际 任务 中 的 识 
别 率 。 

(2) 数据 统一 表示 。 用 户 的 微 表 情 所 折射 
出 的 信息 依赖 计算 机 对 识别 结果 的 处 理 。 但 目 
前 现存 的 微 表情 数据 样本 少 ， 且 微 表 情 评判 标 
准 制定 困难 ， 难 以 满足 算法 检测 学 习 的 需求 ， 
因此 现 阶段 的 研究 更 趋向 于 使 用 数据 统一 表示 
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以 提高 模型 检测 、 判 断 的 效率 和 容错 率 。 篆 见 
的 数据 统一 表示 方式 有 裁剪 、 缩 放 、 旋 转 和 翻 
转 等 。 采 取 不 同 的 算法 对 数据 进行 处 理 ， 可 以 
获取 更 为 精准 的 标准 化 数据 ， 进 而 有 利于 特征 
因子 的 提取 ， 达 到 提高 检测 效率 的 目的 。 

微 表 情 识别 研究 是 从 提取 到 的 实验 者 的 面 
部 微 表 情 中 分 析出 可 能 相对 应 的 信息 行为 ， 作 
为 研究 资料 在 后 续 的 数据 分 析 工 作 中 使 用 。 如 
采 选 取 的 处 理 方法 不 当 ， 就 很 可 能 触犯 实验 者 
的 个 人 隐私 中。 一 旦 研究 的 数据 库 对 外 公开 ， 
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息 缺 乏 以 及 信息 自主 失效 引发 的 隐私 伦理 问题 
不 仅 会 侵犯 实验 者 的 隐私 与 伦理 所 ， 更 会 造成 
其 对 实验 缺乏 信任 。 因 此 ， 微 表情 的 数据 处 理 
方式 需要 兼顾 效率 与 安全 ， 以 达到 促进 信息 表 
征 研究 的 可 持续 发 展 目的 ™。 
2.3 基于 传统 方法 的 识别 技术 

微 表 情 识别 的 早期 工作 ， 大 多 是 基于 传统 
机 需 学 习 的 方法 ， 研 究 人 员 一 般 通 过 设计 特征 
提取 算 子 ， 提 取 微 表情 片段 中 的 相应 特征 ， 并 
对 特征 进行 分 类 识别 趾 。 基 于 传统 方法 的 微 表 


由 于 信息 主体 隐私 保护 意识 薄弱 、 信 息 绪 取 要 
求 配合 度 低 以 及 相关 立法 滞后 、 由 知情 同意 信 


情 识别 可 以 分 为 基于 纹理 特征 的 方法 和 基于 几 
何 变换 特征 的 方法 ， 具 体 如 表 2 所 示 : 


表 2 传统 表情 特征 提取 方法 


分 类 主要 方法 方法 描述 
基于 纹理 局 部 二 值 模式 (local binary patterns, 定义 在 像素 3 x 3 的 领域 内 ， 以 领域 中 心 像 素 为 冰 值 ， 比 较 
特征 的 ”LBP ) 方法 5 周围 8 个 像素 点 与 其 之 间 的 关系 ， 得 到 该 领域 中 心 像素 点 
算法 的 LBP 值 ， 并 用 这 个 值 反 映 该 区 域 的 纹理 信息 
3 个 正 交 平面 一 局 部 二 值 模式 (local 在 LBP 基 础 上 ， 引 入 时 间 维 度 建立 3 个 正 交 平面 对 图 片 序 


binary pattern histograms 位 om three or- 
thogonal planes ) 方法 63 


方向 梯度 直方 图 (histogram of oriented 
gradient, HOG ) 方法 6 


JEMI (optical flow ) B5 


基于 几何 
变换 的 
算法 


定向 光 流 直方 图 (histogram of oriented 
optical flow, HOOF ) 法 69 

主 方向 平均 光 流 (main directional mean 
optical flow feature, MDMO ) 法 6 


三 角 化 时 域 模型 ( delaunay-based 
temporal coding model, DTCM ) 法 B9 


2.4 基于 深度 学 习 的 识别 技术 

采用 传统 的 机 器 学 习 方 法 对 高 相似 性 和 密 
集 性 的 微 表 情 图 片 进行 特征 识别 ， 存 在 训练 难 
度 大 、 准 确 性 较 低 、 数 据 集 数量 较 小 、 容 易 导 
致 过 拟 合 等 问题 ， 无 法 满足 日 益 精 确 的 效率 需 
求 。2018 年 ， 研 究 者 将 深度 学 习 〈 deep learning, 
DL) 引入 微 表情 识别 中， 深度 学 习作 为 机 器 学 
习 的 一 个 新 研究 方向 ， 在 语音 和 图 像 识 别 等 方 


列 的 特征 进行 表达 


将 图 像 进行 多 层 分 块 处 理 ， 
为 特征 


计算 每 个 子 块 的 梯度 直方 图 作 
向 量 ， 最 后 逐 层 拼接 作为 每 个 图 像 的 特征 向 量 


将 运动 图 像 函 数 fx,y,D 作 为 基本 函数 ， 根 据 图 像 强度 守恒 


Jt 


建立 光 流 约束 方程 ， 


通过 求解 约束 方程 ， 得 到 微 表情 


各 序列 帧 之 间 的 关系 
在 光 流 法 基础 上 对 光 流 直方 图 进行 改进 ， 对 光 流 值 归 一 化 


处 理 ， 最 后 和 
根据 人 脸 标 志 
域 的 向 量 ， 

多 值 来 代表 该 区 域 特 征 


FE, 


得 到 以 光 流 为 主要 导向 的 光 流 直方 图 

xz 点 将 人 脸 划分 为 36 个 区 域 ， 计 算得 到 每 个 区 
选取 这 些 区 域 的 最 大 光 流 极 坐 标 回 量 ， 并 用 其 
向 量 


使 ) 


主观 模型 对 人 脸 序 列 进行 


分 割 ， 并 通过 相同 位 置 的 三 


角 区 域 对 比 和 其 特征 计算 来 表示 微 表 情 的 动态 变化 的 过 程 


面 都 已 经 取得 了 卓越 进展 外， 可 以 有 效 解 决 微 
表情 识别 在 种 类 、 数 量 、 速 度 上 存在 的 问题 ， 
且 处 理 方式 更 加 简洁 ， 还 能 更 精准 地 识别 特征 
信息 ， 进 一 步 提 升 微 表 情 信息 表征 能 力 ， 现 已 
超越 传统 方法 成 为 主流 。 基 于 深度 学 习 方 法 的 
微 表 情 识别 可 以 分 为 基于 关联 学 习 的 方法 、 基 
于 区 域 学 习 的 方法 和 基于 迁移 学 习 的 方法 ， 如 
表 3 所 示 : 
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表 3 深度 学 习 特 征 提取 方法 


分 类 主要 方法 方法 描述 优点 
基于 关联 学 。 ”基于 卷 积 神经 网 络 ” CNN 通过 多 层 的 卷 积 、 池 化 、 全 连 识别 效果 比 传统 方法 更 好 ， 通 
习 的 方法 (CNN ) #1 接 ， 降 低 图 片 维度 ， 将 图 片 的 特征 转换 常情 况 下 网 络 越 深 ， 提 取 的 特 
为 一 维 向 量 ， 从 而 得 到 更 为 全 面 的 信息 征 越 抽象 ， 也 越 具 有 代表 性 


基于 卷 积 神经 网 络 和 ”使 用 


CNN 提取 二 维 平面 上 的 特征 , 将 卷 积 和 LSTM 组 合 提 取 微 表情 


长 短期 记忆 网 络 (long 其 输入 于 LSTM 结 构 中 ,通过 LSTM 结 序列 中 的 时 空 特征 能 够 更 加 有 


short-term memory, 
LSTM ) 网 络 架构 [5 
三 维 卷 积 神经 网 络 


意 力 机制 架 构 的 


构 的 记忆 单元 ， 同 时 由 3 个 门 来 控制 结 效 地 描绘 微 表 情 特征 


构 的 变化 ， 从 有 效 学 习 到 长 基 
在 二 维 卷 积 神经 网 络 基础 上 ， 
(3DCNN ) #3 特质 ， 考 虑 时 间 维 度 的 帧 间 运 动 信息 
主要 运用 于 视频 分 类 、 
基于 卷 积 神经 网 络 和 注 ”提取 微 表情 片段 中 的 光 流 与 光学 应 变 ， 
将 其 输入 到 浅 层 3DCNN 中 ， 提 取 光 流 或 者 权重 来 突出 重要 信息 和 抑 
特征 向 量 。 在 迁移 模型 的 基础 上 ， 加 入 制 不 相关 信息 ， 并 且 随 着 网 络 
卷 积 注意 力 模块 以 提取 人 脸 特 征 向 量 。 


依赖 信息 

提取 时 间 准确 率 高 ， 三 维 卷 积 能 够 充分 
， 提取 微 表 情 时 间 、 空 间 上 的 特 

动作 识别 等 领域 征 

注意 力 机 制 通过 分 配 不 同系 数 


的 加 深 ， 能 够 捕捉 到 更 多 维度 


最 后 将 两 个 特 和 


FE 向量 拼接 起 来 进行 分 类 的 特征 


基于 区 域 学 


多 通道 级 联 中 使 用 3 个 并 行 的 多 通道 卷 积 网 络 从 不 同 性 能 和 重 棒 性 优 于 现 有 的 先进 


习 的 方法 


的 面部 区 域 学 习 融 合 全 局 和 局 部 特征 ， 方法 
利用 联合 能 人 特 生 


学 习 来 探索 基于 融合 


区 域 的 特征 在 杏 入 空间 中 的 身份 不 变 和 


姿态 感知 的 表达 表示 


基于 迁移 学 ”基于 迁移 学 习 的 跨 域 人 利用 迁移 学 习 将 基于 深度 卷 积 神经 网 络 采用 端 到 端的 深度 学 习 方法 自 


习 的 方法 脸 表情 识别 5 


的 人 脸 识别 模型 VGGFace， 从 人 脸 识 动 提取 特征 的 效果 更 好 ， 微 表 


别 领域 迁移 到 面部 表情 识别 领域 ， 并 引 情 识 别 的 准确 率 更 高 
入 肾 焦 损失 函数 作为 目标 函数 来 降低 数 


据 不 均衡 的 影响 


O 微 表 情 识 别 与 信息 表征 研究 面临 
的 挑战 

从 已 取得 的 成 就 来 看 ， 微 表情 识别 技术 发 
展 趋 于 成 熟 ， 基 于 深度 学 习 的 微 表 情 识别 方法 
已 超越 传统 的 机 器 学 习 方法 ， 可 以 更 精准 地 预 
测 和 分 析 用 户 试图 掩饰 或 隐藏 的 真实 情绪 和 内 
在 表征 信息 ， 成 为 技术 创新 的 中 心 课题 中 。 信 
息 表征 的 分 析 和 预测 已 取得 较 好 的 成 效 中， 面 
部 表情 的 识别 更 加 精准 ,数据 元 的 处 理 方式 更 
加 多 样 化， 并 且 已 在 高 效 课堂 教学 中 、 社 会 治 
理 1 领域 得 到 较 好 的 实际 运用 ,但 同时 也 不 
可 避免 地 会 存在 一 些 困难 与 挑战 。 
3.1 技术 方法 优化 

微 表情 具有 明显 不 同 于 宏观 表情 的 特征 ， 
如 持续 时 间 短 、 变 化 微弱 等 ， 这 也 大 大 增加 了 
微 表情 识别 的 难度 中 。 同 时， 通过 识别 微 表情 


999 


分 析出 的 信息 表征 ， 其 数据 并 非 客 观 直 接 的 无 
损 原 版 。 由 于 感情 的 细微 性 ， 其 表现 出 的 信息 
往往 存在 欺骗 性 ， 也 显得 更 加 模糊 路。 更 具 鉴 
别 性 的 特征 能 够 更 准确 地 描述 人 脸 表 情 ， 由 于 
受到 环境 和 情感 表情 的 复杂 挑战 ， 大 多 数 表情 
识别 系统 与 技术 难以 捕 提 微 表 情 特 征 ， 无 法 达 
到 很 高 的 识别 率 的 。 目 前 技术 更 新 迭代 速度 较 
快 ， 实 时 集成 表情 识别 技术 (real-time emotion 
facial expression recognition, REFER ) 、 人 脸 表 情 
识别 网 络 (facial-expression recognition network, 
FERNet ) 和 卷 积 神经 网 络 (CNN ) 理论 模型 O°! 
等 技术 不 断 涌现 。 在 过 去 发 展 的 基础 上 促进 了 微 
表情 识别 准确 性 及 信息 表征 分 析 的 关联 性 ， 但 仍 
存在 模型 波动 较 大 、 信 息 传 递 失真 等 技术 问题 ， 
需要 进一步 研究 。 
3.2 人 种 存在 差异 及 数据 量 问题 

微 表情 识别 与 信息 表征 之 间 联 系 的 建立 需 
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要 大 量 的 数据 支撑 ， 而 较 大 规模 地 采集 面部 表 
情 的 难度 较 大 ， 大 规模 面部 微 表 情 数 据 库 的 共 
建 、 共 享 发 展 不 足 中 。 在 非 受 控 环境 下 采集 的 
网 络 数据 ， 如 FERPlus 和 RAF-DB 等 数据 库 ， 
经 过 多 人 众 包 标注 可 靠 性 有 所 增加 ,但 是 标注 
数量 也 仅 在 3 万 左右 已 。 另 一 方面 , 由 于 遗传 、 
地 域 、 文 化 的 不 同 ,不 同人 种 、 不 同 民族 在 表 
达 情 感 时 面部 表情 具有 一 定 差异 性 。 例 如 ， 仅 
从 蒙古 族 、 维 吾 尔 族 、 壮 族 、 藏 族人 脸 表 情 图 
像 的 研究 来 看 ， 面 部 主要 特征 部 件 的 变动 数据 
因 不 同 民 族 而 存在 显著 差异 中。 而 针对 特定 人 
群 研 发 特定 微 表情 数据 库 的 工作 耗 时 费力 ， 应 
用 面 又 较为 狭小 ， 不 适合 作为 长 时 期 的 发 展 方 
向 。 这 就 需要 以 共 建 共享 为 指导 思想 进行 新 技 
术 开 发 中， 解决 微 表 情 识别 与 信息 表征 研究 的 
发 展 困境 。 


@ 用 户 微 表情 信息 表征 未 来 研究 方向 

笔者 在 文献 调研 过 程 中 全 面 分 析 了 微 表 情 
识别 及 信息 表征 相关 研究 ， 结 合 调 研 内 容 ， 得 
出 以 下 几 个 未 来 发 展 和 潜在 研究 方向 。 
4.1 从 信息 表征 到 信息 传递 

微 表 情 往往 在 人 撒谎 时 出 现 ， 表 达 了 人 试 
图 压抑 与 隐藏 的 真正 情感 ， 换 言 之 ， 撒 谎 等 
信息 行为 其 实 是 微 表 情 的 主要 来 源 ， 微 表情 的 
自觉 或 不 自觉 的 目的 就 是 “掩盖 ” 某 种 信息 行 
为 。 两 者 有 着 密 不 可 分 的 相互 联系 ， 这 种 联系 
一 定 程度 上 体现 在 微 表情 与 信息 行为 的 传递 过 
程 ， 宏 表情 识别 测验 、 短 暂 表 情 识别 测验 (brief 
affect recognition test, BART ) 、 微 表情 识别 测验 
( Japanese and Caucasian brief affect recognition 
test, JACBART ) 这 3 种 针对 抑郁 症 患 者 展开 的 
测验 即 能 体现 出 两 者 的 现实 应 用 性 。 

微 表 情 通 过 神经 生理 条 件 传递 信息 行为 。 
当 某 种 情绪 被 触发 ， 皮 层 下 大 脑 会 发 送 一 种 无 意 
识 的 反射 式 的 信号 给 面部 神经 ， 当 这 种 信号 足够 
强大 时 ， 真 实 表情 将 会 泄露 很 短 的 时 间 ， 然 后 自 
主 控 制 恢复 ， 这 就 形成 了 微 表情 外。 用 户 微 表 
情 信息 表征 的 传递 持续 不 断 地 进行 ， 在 此 期 间 又 
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传递 出 更 多 的 信息 ， 产 生 新 的 信息 行为 ， 并 
循环 往复 地 映射 到 新 一 轮 的 微 表 情 之 中 。 这 种 信 
息 传递 的 循环 符合 信息 的 无 限 性 ， 同 时 也 证 明了 
言 息 行为 与 微 表 情 之 间 强 大 的 传递 关系 。 
4.2 从 信息 传递 到 信息 反馈 

从 用 户 行为 的 本 质 出 发 ， 无 论 是 从 直观 或 
是 从 技术 的 角度 ， 都 是 通过 分 析 某 种 反馈 进行 
识别 。 起 初 ， 实 验 者 利用 CASME 自发 式微 表 
情 数据 集 技 术 , 带 着 “他 是 否 在 撒谎 ?” 的 疑问 ， 
观看 时 录制 人 脸 视频 。 当 他 们 发 现 某 些 关 键 帧 
的 微 表 情 变换 并 做 出 判断 时 ， 其 实 就 是 得 到 了 
信息 表征 传达 的 反馈 HE REN A, 
微笑 可 能 代表 喜悦 ， 这 是 人 们 从 直观 上 很 容易 
得 到 有 关 信 息 行为 的 反馈 结果 "， 然 而 这 种 轻 
微 的 区 别 是 存在 阔 值 的 ， 信 息 行 为 的 回馈 会 因 
冰 值 上 呈现 或 阀 值 下 呈现 产生 明显 的 区 别 “。 

基于 “ 微 表 情 ” 的 安检 模式 ， 从 安检 工作 
的 实际 出 发 , 通过 对 面部 微 表情 的 捕捉 和 分 析 ， 
并 进行 适时 反馈 ,对 于 识别 和 研判 可 疑 人 员 、 
风险 预警 、 处 置 决策 等 方面 具有 重要 的 实用 意 
义 中 。“ 微 表情 ”识别 的 安检 模式 以 微 表情 理 
论 研究 为 基础 ,并 与 心理 学 及 大 数据 、 人 工 智能 、 
信息 通信 相 结 合 。 安 检 人 员 对 受 检 人 员 适 时 引 
导 刺 激 , 及 时 观察 、 分 析 其 “ 微 表情 ”的 变化 ; 
同时 ， 智 能 系统 模块 将 视频 中 截取 的 人 脸 图 像 
进行 黑 名 单数 据 检索 和 “ 微 表 情 ” 识 别 , 实现 对 
可 疑 人 员 的 甄别 与 预警 。 美 国 交 通 运输 安全 部 
已 经 把 基于 微 表 情 分 析 的 行为 观测 技术 应 用 到 
机 场 的 安检 “。 而 微 表情 识别 技术 一 旦 应 用 到 
教育 、 医 疗 、 社 会 治理 等 诸多 领域 ， 微 表情 采 
集中 以 帧 为 单位 收集 的 图 像 视 频 信息 及 各 类 微 
表情 数据 集 都 有 被 传播 和 洱 露 的 潜在 风险 “”， 
参与 者 的 个 人 隐私 将 可 能 受到 侵犯 中 。 因 此， 
如 何在 保障 数据 安全 的 同时 ， 在 个 人 隐私 保护 
和 面部 信息 的 搜集 、 存 储 、 运 用 、 传 递 之 间 达 
到 平衡 ， 是 未 来 需要 探究 的 方向 之 一 。 


全 结语 
用 户 产生 微 表情 的 过 程 也 是 信息 表征 的 过 
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程 。 在 前 期 分 析 和 文献 计量 的 基础 上 ， 笔 者 从 
现状 、 趋 势 、 技 术 和 挑战 四 大 方面 对 币 表 情 识 
别 中 的 信息 表征 研究 进行 了 系统 分 析 ， 有 利于 
把 握 微 表情 识别 中 的 信息 规律 ， 对 微 表情 识别 
中 的 信息 管理 和 人 机 交互 建设 具有 重要 的 理论 
意义 和 实践 意义 。 与 此 同时 ， 该 研究 领域 不 可 
避免 地 存在 技术 开发 、 信 息 保 护 和 人 种 差异 等 
一 系列 问题 ， 对 微 表 情 识 别 领 域 下 的 信息 行为 
研究 提出 了 新 的 挑战 ， 值 得 研究 者 持续 这 耕 。 
在 图 书馆 与 情报 领域 ， 微 表情 识别 过 程 中 的 信 
息 传 递 、 信 息 反馈 是 未 来 可 发 展 的 新 兴 研 究 领 
域 , 微 表 情 识 别 领域 的 应 用 趋势 可 以 在 元 宇宙 、 
隐私 问题 和 技术 驱动 等 领域 持续 发 展 。 


nor 
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A Review of Information Representation of User’s Micro-Expressions 
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Abstract: [Purpose/Significance] To analyze the current status and trends of research in the field of 
micro-expression recognition at home and abroad, and to provide a reference for the research on micro- 
expression information representation of users in the field of library and intelligence. [Method/Process] 
The bibliometric-based research method revealed the research dynamics in the field of micro-expression 
recognition in the last decade, and analyzed the convergence trends, technical basis and difficult challenges 
of micro-expression recognition and information representation. [Result/Conclusion] Micro-expression 
datasets and micro-expression recognition technologies are current research hotspots; technical approaches, 
security ethics and database volume are major challenges for today’s development; information transmission 
and information feedback are emerging research areas that can be developed in libraries and intelligence in 
the future, and areas such as meta-universe, privacy issues and technology-driven are future trends in the 
application of micro-expression recognition technologies. 
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